CoffeeBench: Benchmarking Long-Horizon LLM Agents in Heterogeneous Multi-Agent Economies
CoffeeBench：多智能体异质经济中长期 LLM 代理的基准评测
🧭 LLM 多智能体长期经济决策基准 ★ 深度解读
Sakana AI · KPMG AZSA LLC
构建咖啡供应链多智能体经济模拟，评估 LLM 代理在 90 天内的利润与通信行为，揭示主动交易与 idle-drift 分化
📌 工作参考价值（5 点）
- 多智能体供应链模拟可直接迁移至电商平台协同：咖啡供应链的农民-烘焙商-零售商三层结构类似电商中供应商-平台-客户的链状关系，可用 ReAct 代理模拟商家竞价、采购、定价，评估 LLM 在自动谈判与利润最大化中的表现。
- 主动通信是盈利能力的关键指标：高利润模型（GPT-5.5）日均发送 1.5 条消息以上，而低利润模型通信极少。在电商 Agent 设计中应鼓励主动询价、报价与协商，而非仅被动响应。
- 警惕 idle-drift 失败模式：Claude Haiku 4.5 在保持推理连贯的同时反复选择“等待下一天”，导致长达 40 天的不作为。实践中需为代理设置“活跃度监控”与强制唤醒机制（如超时重启、消息回复强制动作），防止陷入虚假的推理但无行动的状态。
- 利润与销售额解耦，定价谈判比交易量更重要：Gemini 3.1 Pro 与 Kimi K2.6 营收相近但利润差异大，原因在于前者实现了更高的平均售价。推荐系统或广告出价中同样适用：关注单次成交利润率而非仅追求 GMV 量，Agent 应具备动态定价与 margin 核算能力。
- 长期记忆管理是必须的工程化手段：当上下文超过 160k tokens 时，论文采用模型自身对中间轨迹做摘要，保留首尾最新步骤。对构建长会话 Agent 的推荐系统有直接启发：可定期对对话历史做压缩总结以适配上下文窗口。